自Mikolov等人的开创性工作以来。 （2013A）和Bojanowski等。 （2017），浅日志双线性语言模型的单词表示已成为许多NLP应用程序。 Mikolov等人。 （2018）介绍了一个位置日志双线性语言模型，具有基于关注的语言模型的特征，并且在内在单词类比任务上达到了最先进的性能。然而，位置模型从未评估了定性标准或外在任务，其速度是不切实际的。我们概述了注意机制与位置模型之间的相似性，并提出了一个受约束的位置模型，它适应Dai等人的稀疏注意机制。 （2018）。我们评估了三个新型定性标准的位置和受约束的位置模型及其对两种和布鲁森的外在语言建模任务（2014）。我们表明，位置和约束位置模型包含有关字令的可解释信息，优于Bojanowski等人的子字模型。 （2017）语言建模。我们还表明，受约束的位置模型优于语言建模的位置模型，并且是快速的两倍。
translated by 谷歌翻译